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Обнаружение автомобильных номеров 
на основе смешанного каскада классификаторов 


В статье приводятся результаты решения задачи обнаружения номеров государственной регистрации 
автотранспортных средств на изображениях. Решение основано на использовании каскада классификаторов 
в процессе мультимасштабного сканирования изображений для поиска однострочных номерных знаков. 
При построении каскада использовались классификаторы разных типов: начальные классификаторы 
основаны на анализе положения обучающих объектов в узлах многомерного куба (МКВ-классификаторы), 
конечные — формировались в виде линейной комбинации значений свойств с помощью алгоритма 
АдаВоо$. Использование каскада смешанных классификаторов позволило увеличить быстродействие 
алгоритма обнаружения. 


Введение 


Автоматизация управления движением автотранспорта является в настоящее время 
актуальной и практически важной задачей, в рамках которой активно разрабатываются 
и развиваются системы автоматического распознавания номерных знаков. Подобные 
системы имеют достаточно широкий спектр возможных применений: 


Автомобильный номер считывается дважды: при въезде и выезде. Компьютерная сис- 
тема автоматически определяет время стоянки и вычисляет величину оплаты. Допол- 
нительно такая система может определять автомобили, для которых на данной стоянке 
плата не взимается. 


На платных 
автомобильных 
стоянках 


Автоматический пропуск в охраняемую зону автомобилей с номерами, входящими в 
Контроль доступа 


список. 
На платных Автомобильный номер используется для определения платы за проезд по платной до- 
автодорогах роге или для дополнительной проверки разрешения на проезд. 


Номер автомобиля регистрируется при въезде в страну и выезде из нее. Эта информация 
заносится в централизованную базу данных и используется для мониторинга пересече- 
ний границы. 

Такая система, размещенная на обочине дороги, контролирует номера всех проезжаю- 
щих мимо нее машин, сравнивая их в реальном масштабе времени со списком угнан- 
ных автомобилей или тех, у которых просрочен штраф. При проезде автомобиля, но- 


Пограничный 
контроль 


Розыск краденых 


автомобилей ы 
мер которого есть в этом списке, система выдает сообщение дорожной полиции, которая 
останавливает этот автомобиль. 
Контроль В ряде стран для решения таких задач уже используются видеокамеры, однако обработка 
превышения фотографий автомобилей нарушителей выполняется вручную. Применение технологии 
скорости и распознавания автомобильных номерных знаков позволяет автоматизировать этот про- 
проезда на цесс, вплоть до печати квитанции на оплату штрафа. 


красный свет 


Применение систем распознавания автомобильных номерных знаков позволяет авто- 
матически классифицировать автомобили на несколько типов (например, авторизован- 
ные, известные посетители и неизвестные посетители, требующие проверки), направ- 
ляя их на различные полосы движения, сокращая тем самым время ожидания и упрощая 
работу службе охраны. 


Управление 
движением 
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В настоящее время существует достаточно много систем автоматического рас- 
познавания автомобильных номеров, ориентированных на национальные стандарты 
номерных знаков, которые могут отличаться по многим характеристикам: размер, фор- 
ма, цвет символов и фона, количество и состав (буквы и цифры) символов, алфавит сим- 
волов. Поэтому задача распознавания номерных знаков автотранспортных средств, 
принятых в Украине, является актуальной и практически важной. 

Решение задачи обнаружения автомобильного номера является первым этапом 
в разработке систем автоматического контроля движения транспортных средств на 
основе распознавания номерных знаков. После обнаружения выполняются другие 
этапы обработки и анализа изображений, такие, как нормализация изображения (напри- 
мер, по углу поворота номерного знака, отношению горизонтального размера изобра- 
жения номера к вертикальному, углу крена символов номера), сегментация символов, 
распознавание символов. 

Целью данной работы является разработка и исследование методов обнаружения 
автомобильных номеров, качество работы которых во многом определяет характерис- 
тики всего комплекса алгоритмов, используемых в системе распознавания номерных 
знаков. 


Общие принципы используемого метода обнаружения 


Для обнаружения автомобильных номеров на цифровых изображениях исполь- 
зуется большое разнообразие различных эвристических подходов и их комбинаций, 
основанных на предполагаемых отличиях в свойствах изображений номерных знаков, 
и изображений, не относящихся к ним. К таким подходам можно отнести использова- 
ние: карт вертикальных границ [1], [2]; спектральных характеристик [2]; нечетких карт 
принадлежности точек номерным знакам [3]; подсчета числа границ, следующих на 
определенном расстоянии друг от друга [4]; морфологического преобразования для 
поиска линий символов, имеющих определенную ширину [5] и др. 

В отличие от перечисленных подходов, используемый метод основывается на об- 
щих принципах поиска объектов на изображениях, предложенных в [6]. В качестве 
исходных данных для получения эффективного алгоритма поиска используется на- 
бор полутоновых изображений автомобильных номеров и изображений фона. При этом 
никаких эвристических знаний о свойствах изображений номеров не используется. 

В ходе обнаружения выполняется мультимасштабное сканирование изображения 
с некоторым пространственным и масштабным шагом, которые подбираются экспери- 
ментально на основе требований к скорости и качеству работы алгоритма, либо могут 
быть учтены при обучении путем дополнения базы изображений номеров, изображе- 
ниями с изменением масштаба и смещением на половину желаемого шага мультимас- 
штабного сканирования. Для каждой области-кандидата выполняется каскадная клас- 
сификация на принадлежность номерному знаку. В качестве классификаторов каскада 
используются классификаторы двух типов: 

1. МКВ-классификаторы [7] — на начальных этапах каскада. 

2. Линейные классификаторы, полученные с помощью алгоритма АдаВооз4 [6], 
[8], - на завершающих этапах каскада. 

За счет использования на начальных этапах МКВ-классификаторов сокращается 
число используемых для классификации свойств при сохранении высокого качества 
классификации [7], что в сочетании с возможностью древовидного представления 
МКВ-классификатора позволяет существенно сократить время поиска. 
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В качестве свойств изображения, используемых для классификации МКВ-клас- 
сификаторами и линейными классификаторами, использовались Хаар-подобные логи- 
ческие свойства, предложенные в [9], значения которых не зависят от линейных поэле- 
ментных преобразований изображений, связанных с изменениями яркости и контраст- 
ности. Для быстрого получения значений свойств для произвольной области изображения 
использовался алгоритм [6], основанный на предварительном расчете интегрального 
изображения. 


Обучение каскада классификаторов 


Для обучения классификаторов использовалась база изображений однострочных 
номерных знаков, которые были размечены вручную и вырезаны из реальных циф- 
ровых фотографий автотранспортных средств. Всего было обработано 282 исходных 
изображения. Каждое изображение, содержащее изображение номера, использовалось 
для формирования набора обучающих изображений номеров путем изменения масшта- 
ба вырезанного изображения номера и угла его поворота в плоскости изображения. 
При изменении масштаба изображения отношение горизонтального размера к верти- 
кальному варьировалось в диапазоне 3,3 — 4,2. Изменение угла поворота выполнялось 
в диапазоне (- 5; 5) градусов с шагом в 1 градус. В результате полученный обучающий 
набор изображений номеров насчитывал около 45 000 изображений. 

Для формирования изображений фона использовались те же изображения, за ис- 
ключением области, соответствующей номеру. Таким образом, формирование фона 
проходило с использованием изображений, соответствующих изображениям, полу- 
чаемым в реальных условиях эксплуатации системы автоматического распознавания 
номерных знаков. Перед обучением очередного классификатора каскада случайным 
образом из используемых изображений вырезались области, классифицируемые как 
автомобильные номера всеми предыдущими классификаторами каскада. В проведен- 
ных экспериментах таких изображений вырезалось около 20 000 для каждого класси- 
фикатора. 

В ходе обучения каскада для каждого классификатора использовалось ограниче- 
ние на ошибку пропуска цели - 0,01. При обучении с помощью алгоритма АдаВооз{ 
на конечных этапах каскада обучение велось до достижения требуемой ошибки про- 
пуска цели. Обучение МКВ-классификаторов, используемых на начальных этапах кас- 
када, выполнялось путем минимизации суммарной ошибки классификации согласно 
алгоритму, приведенному в [7]. После этого выполнялось комбинирование свойств 
путем исключения из классификатора случайного свойства и подбора более эффектив- 
ного, снижающего итоговую суммарную ошибку классификации. Полученный классифи- 
катор представлял собой дерево решений. Назначение маркеров классов в вершинах 
многомерного куба выполнялось таким образом, чтобы ошибка пропуска не превосхо- 
дила указанное выше ограничение. 


Результаты обучения каскада классификаторов 
для обнаружения автомобильных номеров 


В ходе описанного процесса обучения был получен смешанный каскад из 6-ти 
классификаторов, имеющих характеристики, приведенные в табл. 1. В последней строке 
табл. 1 приведены также общие характеристики для всего каскада. 
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Таблица 1 — Характеристики классификаторов смешанного каскада для обнару- 


жения номерных знаков 


Номер Ошибка 
Тип 5 Ошибка 
классификатора Число свойств ложного 
классификатора пропуска цели 
в каскаде обнаружения 

1 МКВ 5 0,01 0,41 
2 МКВ 10 0,01 0,22 
3 МКВ 12 0,01 0,11 
4 Линейный 138 0,01 0,01 
5 Линейный 303 0,01 0,01 
6 Линейный 465 0,01 0,01 
Весь каскад -- — 0,059 <10° 


Из приведенной таблицы видно, что полученный каскад имеет высокие характе- 
ристики по качеству решения задачи классификации типа объект/фон, где объектом 
выступают изображения автомобильных номеров. Необходимость достижения приве- 
денной в таблице характеристики ошибки ложного обнаружения для всего каскада 
объясняется тем, что при мультимасштабном сканировании изображений число канди- 
датов достаточно велико, в частности для изображений 640*480 пикселей и приемле- 
мых размерах пространственного шага и шага прохода по масштабам, число кандидатов 
может быть порядка 106. 

Примеры работы алгоритма обнаружения на основе полученного каскада приве- 
дены на рис. 1. 


Рисунок 1 — Примеры работы алгоритма обнаружения автомобильных номеров 
на реальных изображениях 
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В приведенных изображениях примеров ложного обнаружения не оказалось. 
Однако стоит заметить, что ложное обнаружение чаще всего проявляется в случаях 
присутствия на изображении надписей на бигбордах и рекламных вывесках магази- 
нов, что может быть исключено установкой камеры с учетом специфических дорожных 
условий. Кроме этого, так как ложные обнаружения встречаются редко, их можно исклю- 
чить на дальнейших этапах обработки найденных изображений номерных знаков, без 
существенного влияния на скорость обработки данных всей системы распознавания. 

Исследование скоростных характеристик алгоритма обнаружения проводилось 
на компьютере Репнит Соге2)ио с частотой процессора 2,33 ГГц. В качестве входных 
изображений использовались изображения размером 640*480 пикселей, получаемые 
от подключенной к компьютеру видеокамеры с частотой 30 кадров в секунду. При муль- 
тимасштабном сканировании изображений проход по масштабам выполнялся в диапа- 
зоне горизонтальных размеров номеров от 106 до 214 пикселей с мультипликативным 
шагом в 1,1 раза (всего 8 масштабов). 

Проход по изображению выполнялся с различными шагами по вертикали й, и го- 


ризонтали й.. ‚› зависящими соответственно от вертикального и горизонтального разме- 


ров искомого изображения номера: 
й =0,05х’, й, = 0,05хН, 


где И’ горизонтальный, а Н — вертикальный размеры искомого изображения номера. 

В результате проведенных экспериментов были определены скоростные характе- 
ристики предложенного алгоритма обнаружения, которые составили в среднем 12 — 
15 кадров в секунду. При необходимости увеличения скорости обработки, кроме из- 
менения шагов мультимасштабного сканирования, можно ограничить область поиска 
номера на основе знания вероятного места его расположения, параметры которого за- 
висят от конкретных условий расположения камеры. 


Выводы 


Рассмотренный в статье подход к решению задачи обнаружения номерных зна- 
ков автомобилей позволил достичь хороших показателей по качеству и скорости обра- 
ботки входных изображений. В ходе обучения был получен каскад классификаторов, 
имеющий следующие характеристики: ошибка пропуска цели - 0,059, ошибка ложного 
обнаружения — <10°. Скорость обработки изображений размером 640*480 пикселей 
на компьютере Репиит Соге2)ио с частотой процессора 2,33 ГГц - 12 - 15 кадров в 
секунду. Рассмотренный алгоритм позволяет успешно использовать его в качестве 
первого этапа обработки изображений в системах распознавания автомобильных но- 
меров. Дальнейшие исследования в направлении создания системы автоматического 
распознавания могут быть связаны с нормализацией изображения номера, сегментаци- 
ей символов и распознаванием символов, представленных на изображении номерно- 
го знака. 
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К.В. Муриан 

Виявлення автомоб! льних номерв на основ! змипаного каскаду класифжаторв 

У стати! наводяться результати виритення задач! виявлення номерйв державно! реестраци автотранспортних 
засоблв на зображеннях. Рипення грунтуеться на використанн! каскаду класиф\каторлв у процес 
мультимасштабного сканування зображень для пошуку однорядкових номерних знакв. При побудов1 
каскаду використовувалися класиф1катори р1зних тишв: початков! класиф1катори грунтуються на анал!з1 
положення навчальних об’ектв у вузлах багатом!рного куба (МКВ-класиф\катори), кнцев! — формувалися 
у вигляд! льййно! комбнацй значень властивостей за допомогою алгоритму АдаВоо$. Використання 
каскаду змипаних класифкатор\в дозволило зб1льшити швидкод!ю алгоритму виявлення. 


К.Г. Мигуят 

РеесНоп о? Саг Глсепзе Р/же оп е Ва$15 оГ Фе УШхед Сазсаде о? СЛаз$Шег$ 

Тве агасе 15 деуод{е4 №0 а рго ет о саг Псепзе р!айе деесйоп оп птазез. ТБе 4еслз1оп 1$ Базе оп изе оЁ 
Фе сазсаде оЁ с1аз$1Нег$ ш е сойтзе оЁ пи] Изсайе зсаппше оЁ птазез ог зеагсВ о# опе-Ппе Псепзе р1айез. 
А{ сазсаде сопзгасйоп с1азз1Негз оЁ @егепи фурез \еге и5е4: па] с1аз1Йегз аге Базе оп Ве апа1уз1$ оЁ 
роз Ноп оЁ таиите об]есё$ ш уецехез оРа шиНАитеп$!опа[ сибе (МСУ-с1аз$1егз), Нпа] - \уеге Ююгте т 
фе Югп оЁа Ппеаг сотЫпайоп о# уашез оЁ еавагез Бу теапз оЁ а]еогИт АЧаВоо$. Чзе оЁ Ше сазсаде оЁ 
Фе пихеа с!азз1Йегз Ваз аПо\уе4 1ю шсгеазе сотрийпе сБагасетзИсз оРдщесйНоп а]еогИ ит. 


Статья поступила в редакцию 26.01.2010. 
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